User-Centric Modeling of Transactional Sequences with Explainable State Space Models
结合对比学习与状态空间模型的用户交易序列建模
🧭 用户序列表示学习 · 状态空间模型
HSE University
用 CoLES 预训练用户向量初始化 Mamba 隐藏态或作为前缀 token，加速收敛并提升序列建模效果
📌 工作参考价值（4 点）
- CoLES 用户先验注入方式可复用：在电商行为序列建模中，可将预训练好的用户 Embedding 作为 Mamba 的初始隐藏状态或序列前缀 token，相比从头训练更快收敛（2-3倍），且无需改变模型主体。
- Mamba 替代 Transformer 处理长序列：交易序列往往极长，Mamba 的线性复杂度优势明显，适合落地到点击、购买等长历史行为建模，性能优于 RNN 且效率高于 Transformer。
- 解释性分析指导特征选择：利用离散化步数映射（discretization-step maps）和 Integrated Gradients 可识别最具信息量的交易特征，直接指导特征工程和业务规则制定，如突出高价值行为节点。
- 多任务共用的用户表示：CoLES 预训练得到的压缩用户向量可复用于年龄预测、多标签产品获取、购买预测等多个下游任务，降低在线推理成本。